Pada tahun 1928, ketika berusia 21 tahun, Zubir pergi ke Singapura untuk menyara hidup sebagai seorang ahli muzik, mengambil cadangan rakan pelaut yang menyifatkan pulau itu sebagai tempat "lampu bergemerlapan, kopi susu dan mentega". Ini dilakukan dalam menghadapi bantahan dari kampung penghulu bapanya, Mohamad Said bin Sanang, yang percaya muzik untuk menentang agama. Pekerjaan pertama Zubir adalah sebagai seorang ahli muzik dengan City Opera, bangsawan atau rombongan opera Melayu. Beliau menjadi pengiring rombongan kugiran ini. Selepas itu, pada tahun 1936, beliau menyertai syarikat rakaman His Master's Voice. Zubir pergi ke Jawa untuk berkahwin Tarminah Kario Wikromo, seorang penyanyi keroncong, pada tahun 1938; mereka kembali ke kampung Zubir, Bukittinggi pada tahun 1941 sejurus sebelum meletusnya Perang Dunia II. Berbalik ke Singapura pada tahun 1947, Zubir bekerja sebagai jurugambar sambilan dengan akhbar Utusan Melayu semasa mengarang dan persembahan muzik dan lagu-lagu.[4] Pada tahun 1949 beliau memegang jawatan orkestra konduktor di Malay Film Productions Ltd. milik Shaw Brothers, dan pada tahun 1952 beliau menyertai Cathay-Keris Film Productions sebagai penggubah skor dan penulis lagu untuk filem-filem Melayu syarikat, termasuk filem Sunpah Pontianak (1958) dan Chichu Merah (1963).[5] Pada tahun 1957, beliau menerima pengiktirafan awam pertamanya apabila lagu-lagu beliau telah dipersembahkan di Panggung Victoria.[2][3][6]